Automated Evaluation of 3D Reconstruction Results for Benchmarking View Planning

To obtain complete 3D object reconstructions using optical measurements, several views of the object are necessary. The task of determining good sensor positions to achieve a 3D reconstruction with low error, high completeness and few required views is called the Next Best View (NBV) problem. Solving the NBV problem is an important task for automated 3D reconstruction. However, comparison of different planning methods has been difficult, since only few dedicated test methods exist. We present an extension to our NBV benchmark framework, that allows for faster, automated evaluation of large result data sets. We show that the method introduces insignificant error, while considerably reducing evaluation runtime and increasing robustness

Aktive daten- und modellbasierte Sensorpositionierung zur 3-D Vermessung

Im Bereich der dreidimensionalen Objektrekonstruktion und -inspektion ist die Ansichtenplanung eines der zentralen Probleme. Es erlaubt die Bestimmung geeigneter Sensorparameter, um ein Messobjekt hochgenau und vollständig mit wenigen Ansichten zu erfassen. Dadurch können kürzere Ansichtenpläne erstellt werden, welche zu genaueren und vollständigeren Rekonstruktionen führen. Traditionelle Verfahren zur Ansichtenplanung, der Bestimmung der besten nächsten Ansicht (Next Best View, NBV) streben entweder nach der Maximierung der Vollständigkeit oder der Minimierung der Unsicherheit. Im Gegensatz dazu erlaubt die in dieser Arbeit vorgestellte modellbasierte Mehrschrittplanung, unter Berücksichtigung des zum größten Eigenwert der geschätzten Messunsicherheit gehörenden Eigenvektors (sog. erweitertes E-Kriterium), die gemeinsame Optimierung von Vollständigkeit und Genauigkeit. Dazu muss der verwendete Sensor genau modelliert und seine charakteristische Messunsicherheit experimentell bestimmt werden. Der gezeigte Ansatz ist sowohl in der daten- als auch der modellgetriebenen Ansichtenplanung anwendbar. Die Planungsmethode erzielt auch bei komplexen Messobjekten gute Ergebnisse. Die vorliegende Arbeit setzt den Planungsansatz in einen der Messdatenaufnahme vorangestelltem Berechnungsschritt für einen streifenprojektionsbasierten 3-D-Scanner um, veri?ziert die Vorteile durch Experimente und vergleicht die erzielten Ergebnisse mit menschlichen Bedienern und einem aktuellen Ansatz aus der Literatur. Dazu wird eine umfangreiche Bewertungsmethodik entwickelt. Diese umfasst neben einem komplexen Testobjekt für die Ansichtenplanung auch die detaillierte Bewertung der Messergebnisse hinsichtlich der benötigten Ansichtenanzahl, erzielten Vollständigkeit und Genauigkeit. Die vorgestellten Methoden werden zusätzlich zum Testobjekt auch mit verschiedenen, repräsentativen Messobjekten für die 3-D Rekonstruktion und Inspektion getestet

Underwater 3D measurements with advanced camera modelling

A novel concept of camera modelling for underwater 3D measurements based on stereo camera utilisation is introduced. The geometrical description of the ray course subject to refraction in underwater cameras is presented under assumption of conditions, which are typically satisfied or can be achieved approximately. Possibilities of simplification are shown, which allow an approximation of the ray course by classical pinhole modelling. It is shown how the expected measurement errors can be estimated, as well as its influence on the expected 3D measurement result. Final processing of the 3D measurement data according to the requirements regarding accuracy is performed using several kinds of refinement. For example, calibration parameters can be refined, or systematic errors can be decreased by subsequent compensation by suitable error correction functions. Experimental data of simulations and real measurements obtained by two different underwater 3D scanners are presented and discussed. If inverse image magnification is larger than about one hundred, remaining errors caused by refraction effects can be usually neglected and the classical pinhole model can be used for stereo camera-based underwater 3D measurement systems

A New Sensor System for Accurate 3D Surface Measurements and Modeling of Underwater Objects

Featured Application A potential application of the work is the underwater 3D inspection of industrial structures, such as oil and gas pipelines, offshore wind turbine foundations, or anchor chains. Abstract A new underwater 3D scanning device based on structured illumination and designed for continuous capture of object data in motion for deep sea inspection applications is introduced. The sensor permanently captures 3D data of the inspected surface and generates a 3D surface model in real time. Sensor velocities up to 0.7 m/s are directly compensated while capturing camera images for the 3D reconstruction pipeline. The accuracy results of static measurements of special specimens in a water basin with clear water show the high accuracy potential of the scanner in the sub-millimeter range. Measurement examples with a moving sensor show the significance of the proposed motion compensation and the ability to generate a 3D model by merging individual scans. Future application tests in offshore environments will show the practical potential of the sensor for the desired inspection tasks

3D image acquisition and processing with high continuous data throughput for human-machine-interaction and adaptive manufacturing

Many applications in industrial environment are able to detect structures in measurement volumes from macroscopic to microscopic range. One way to process the resulting image data and to calculate three-dimensional (3D) images is the use of active stereo vision technology. In this context, one of the main challenges is to deal with the permanently increasing amount of data. This paper aims to describes methods for handling the required data throughput for 3D image acquisition in active stereo vision systems. Thus, the main focus is on implementing the steps of the image processing chain on re-configurable hardware. Among other things, this includes the pre-processing step with the correction of distortion and rectification of incoming image data. Therefore, the approach uses the offline pre-calculation of rectification maps. Furthermore, with the aid of the rectified maps, each image is directly rectified during the image acquisition. Afterwards, an FPGA and GPU-based approach is selected for optimal performance of stereo matching and 3D point calculation

Mobile 3D sensor for documenting maintenance processes of large complex structures

With the new handheld goSCOUT3D sensor system, the entire surface of complex industrial machinery spanning several meters can be captured three-dimensionally within a matter of minutes. In addition, a comprehensive photo collection is registered and precisely assigned to the corresponding 3D object points in one hybrid 2D/3D model. At the basis of the robust 3D digitization are the measuring principles of photogrammetric reconstruction using a high-resolution color camera and simultaneous localization and imaging using a tracking unit. Following image acquisition, the process leading to generation of the complete hybrid model is fully automated. Under continuous movement of the sensor head, up to six images per second and a total of up to several thousand images can be recorded. Those images are then aligned in 3D space and used to reconstruct the 3D model. Results regarding accuracy measurements are presented as well as application examples of digitized technical machinery under maintenance and inspection

Autofokussierende optische Vorrichtung und Verfahren zur optischen Autofokussierung

Die vorliegende Erfindung betrifft eine autofokussierende optische Vorrichtung zur automatischen Scharfeinstellung von sich im Sichtfeld der Vorrichtung befindlichen Objekten. Die autofokussierende optische Vorrichtung weist zumindest ein Blickerfassungs-Mittel zur Erkennung einer Blickrichtung eines linken und/oder eines rechten Auges, zumindest ein Entfernungsbestimmungs-Mittel zur gleichzeitigen Messung von Entfernungen von sich im Sichtfeld der Vorrichtung befindlichen Objekten, zumindest ein aktives optisches Element zur Fokussierung zumindest eines sich in der Blickrichtung befindlichen Objekts, und eine Steuerungseinheit zum Einstellen zumindest einer Brechkraft in dem zumindest einen aktiven optischen Element in Abhängigkeit zumindest von der Entfernung des sich in der Blickrichtung befindlichen Objekts auf. Die Erfindung betrifft außerdem ein Verfahren zur optischen Autofokussierung